技術問答
技術文章
iT 徵才
Tag
聊天室
2023 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2021 iThome 鐵人賽
DAY
26
0
DevOps
中台化轉型
系列 第
26
篇
大數據平台:資料倉儲
13th鐵人賽
HO-HSUN
2021-09-26 02:16:36
684 瀏覽
分享至
Hive
適用於 PB 等級大數據的儲存,分析和查詢,處李日誌分析和用戶行為模型訓練。
SQL 語法支援
將查詢語法轉換為「抽象語法樹(Abstract Syntax Tree, AST)」以及使用者自定義函式(User-Defined Function, UDF) 產生執行計畫。
結構化資料模型
透過 MetaStore 管理系統元資料,將實際資料儲存於 HDFS,支援多種資料格式:TextFile、SequenceFile、ORCFile、Parquet 和 Avro。
資料運算模組
支援 MapReduce、Spark。
Presto
適用於 GB 到 TB 等級的資料量,在需要即時回應的資料查詢場警,提升商業化服務。
使芿基於「記憶池(Memory Pool)」的資料模型。
系統架構:
Cordinator:負責語法解析產生執行計畫,節點(Worker)管理及任務分發。
Worker:負責與 Hive 和 HDFS 互動,執行任務及實際運算。
SQL 查詢優化,提高系統問定性和執行效率,支援不同資料來源的即時跨平台資料計算。
留言
追蹤
檢舉
上一篇
大數據平台:分散式協調
下一篇
大數據平台:分散式計算
系列文
中台化轉型
共
30
篇
目錄
RSS系列文
訂閱系列文
6
人訂閱
26
大數據平台:資料倉儲
27
大數據平台:分散式計算
28
大數據平台:分散式檔案
29
大數據平台:訊息中介
30
大數據平台:叢集管理
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1123
組
團體組數
52
組
累計文章數
23096
篇
完賽人數
656
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
2018鐵人賽
javascript
2017鐵人賽
python
windows
php
c#
windows server
linux
css
程式設計
react
vue.js
熱門問題
公司有人常常亂改IP位置(想問有甚麼辦法可以將IP鎖住不給更改)
請問我晚上開發一款工具,早上給公司使用,沒特別條款,法律知識產權還是我的嗎?
請教外網如何連到家裡內部裝置
自家官網連線不到 (已解決)
請問公司網路通暢,卻部分固定的使用者無法連到特定網頁 ,求救~~~
請教各位前輩關於 IT 管理者為 User 重設 AD 帳號的密碼的行政流程
自我改善工作人際態度邊界
遠端連線到虛擬機器上,並希望能聽到音效
ISO 27001改版輔導顧問公司推薦
請問有提供對外http連線服務的主機,都需要上SSL嗎?
熱門回答
公司有人常常亂改IP位置(想問有甚麼辦法可以將IP鎖住不給更改)
請問有提供對外http連線服務的主機,都需要上SSL嗎?
請問公司網路通暢,卻部分固定的使用者無法連到特定網頁 ,求救~~~
自家官網連線不到 (已解決)
請教外網如何連到家裡內部裝置
熱門文章
筆電Wifi不見後, 筆電該怎麼上網?
[C#] Remove Element 解法
使用JS解構賦值踩到的雷
Vigor Router Firewall NAT 一開全球通,如何做限制,只允許白名單IP通過,甚至敲門再開 TOTP 驗證
幫多階段 Dockerfile 除錯紀錄
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}